Sau khi Hoắc Quang qua đời, con cháu ông được vào triều làm quan, thế lực ngày một lớn. Tuyên Đế cũng có ý định tiêu diệt để trừ hậu họa và trả thù cho Hứa Hoàng hậu, đã ra lệnh điều tra về cái chết của Hứa Hoàng hậu trước đây và triệt tiêu quyền lực của họ Hoắc, phong Hoắc Vũ làm Đại Tư mã nhưng không có thực quyền, Triệu Bình (con rể Hoắc Quang) cũng bị đoạt binh quyền. Ngoài ra, Tuyên Đế còn thay hết toàn bộ cấm quân trong cung Vị Ương và Trường Nhạc để đề phòng.

Gia tộc họ Hoắc lo sợ tìm cách trả thù, lên kế hoạch giết Lưu Thích[26], Thừa tướng Ngụy Tương và Xương Thành quân Hứa Quảng Hán (cha Hứa Hoàng hậu) và phế bỏ Tuyên đế để đưa Hoắc Sơn làm thiên tử. Tháng 7 năm 66 TCN, việc này bị lộ, Tuyên Đế ra lệnh bắt chém ngay Hoắc Ngẫu và bắt Hoắc Sơn, Hoắc Vân tự sát[10]. Toàn bộ gia tộc họ Hoắc bị giết hại, chỉ còn người con rể của Hoắc Quang là Kim Thưởng do biết việc tố cáo nên được xá miễn. Hoàng hậu Hoắc Thành Quân bị phế, đày vào cung Chiêu Thái, đến năm 56 TCN thì tự sát. Tổng cộng, trong vụ án họ Hoắc, có tới hơn 1000 người bị liên lụy và bị sát hại. Còn thi thể Hoắc Quang bị chuyển sang Chu Liên.

Về sau dưới thời Hán Bình Đế, năm 2 công nguyên, để tưởng nhớ Hoắc Quang, Bình Đế đã phong cho người cháu chắt của em ông là Hoắc Dương làm Bác Lục hầu để lo việc tế tự cho ông[8].